Năm 1934, sau khi tổ chức lại bộ máy an ninh (OGPU được nhập vào NKVD với tư cách là GUGB), Abakumov bắt đầu công việc của mình tại Phòng 1 của Ban Kinh tế (EKO) thuộc Tổng cục An ninh nhà nước của NKVD. Sau đó, vào ngày 1 tháng 8 năm 1934, ông được chuyển đến làm Tổng cục trưởng Tổng cục Trại cải tạo lao động (GULAG), nơi ông phục vụ đến năm 1937, chủ yếu làm sĩ quan tại Phòng 3 của Ban An ninh GULAG của NKVD. Vào tháng 4 năm 1937, Abakumov được chuyển đến Cục 4 (OO) GUGB của NKVD nơi ông phục vụ cho đến tháng 3 năm 1938.

Sau lần tái tổ chức cấu trúc NKVD tiếp theo vào tháng 3 năm 1938, ông trở thành trợ lý cho giám đốc của Cục 4 trong Ban giám đốc thứ nhất của NKVD, và sau đó từ ngày 29 tháng 9 đến ngày 1 tháng 11 năm 1938, ông hoàn thành nhiệm vụ trợ lý cho Pyotr Fedotov, người đứng đầu của Cục 2 (Sở chính trị bí mật - hoặc SPO) của GUGB của NKVD. Tiếp theo, cho đến cuối năm 1938, ông làm việc trong SPO GUGB của NKVD với tư cách là người đứng đầu một trong các Ban. Abakumov đã sống sót sau Đại thanh trừng bằng cách tham gia vào nó. Ông thực hiện từng mệnh lệnh mà không ngân ngại, có lẽ điều đó đã cứu ông khỏi phải đối mặt với một đội hành quyết. Gần cuối tháng 12 năm 1938, Abakumov được chuyển từ Moskva đến Rostov-on-Don, nơi ông sớm trở thành người đứng đầu UNKVD của Rostov Oblast (người đứng đầu Văn phòng NKVD địa phương).